MoSAR: Mixture of Semantic Attention Regimes for Learning Adaptive and Approximable Attention Geometries
MoSAR：语义注意力机制混合，学习自适应可近似注意力几何
🧭 LLM 高效注意力 · 自适应几何 ★ 深度解读
Università degli Studi di Bari Aldo Moro
在 RoPE 后通过 query/key 路由器混合短中全局 regime，学习可离散化的距离衰减注意力几何，500M 预训练外推最优
📌 工作参考价值（4 点）
- 在电商搜索/推荐的长用户行为序列建模中，可借鉴「可学习距离衰减 + 轻量路由器」替代固定窗口或硬截断：用 query/key 双侧路由选择短/中/全局 regime，让不同 token/item 自适应选择交互范围，既保留长程依赖又降低注意力成本。
- 推理时采用 top-1 离散化先把 attention support 确定，再计算稀疏 QK。论文显示 support density 随上下文长度下降（0.154→0.104），说明在商品描述、会话历史等长序列场景中，这种路由可带来亚二次的注意力开销，适合在线扩容。
- 若需要显式压成本，可参考 MoSAR-Cost：在 LM loss 上加入归一化期望 reach 正则，以很小的困惑度代价换取更低的预期注意力范围；在推荐排序 loss 里也可以加入类似 expected attention cost 项，实现推理成本可控。
- 结论「平滑可控衰减优于硬 mask」可直接用于改进用户长期兴趣序列的 RoPE 截断或滑动窗口设计，避免硬截断带来的语义不连续。